MapReduce模型下的模糊C均值算法研究

针对模糊C均值算法需要不断迭代来计算样本数据的隶属度值以及聚类中心的特点,利用MapReduce模型解决海量数据下的模糊C均值问题,进而提出高效的模糊C均值算法。在Map阶段和Reduce阶段分别完成隶属度和聚类中心的计算,每次迭代都需要启动一次完整的MapReduce执行过程。通过多次迭代计算出隶属度值以及聚类中心,并更新聚类中心文件,供下一轮作业使用,重复执行这一过程直至得到最终聚类结果。实验结果表明,该算法能够有效减少MapReduce计算过程中的迭代次数,从而提高整体执行效率。     

基于Mining-SEC方法的电路等价性验证

针对时序电路的等价性验证难题,提出基于Mining-SEC的定界等价性验证方法。将待验证时序电路按时间帧展开为多项式符号代数表示的电路集合,利用时间序列数据挖掘方法挖掘其中的不变量和相应的全局约束,不变量可以是任意多项式。此外还可挖掘电路中的不合法约束和复杂的多项式关系,通过以上方法可以明显降低求解空间。使用基于SMT的验证引擎检验电路等价性。实验结果表明,该方法可以快速地实现验证收敛,得到平均1~2个量级的验证加速,并且可以有效消除虚假验证。     

基于双层网格和密度的数据流聚类算法

传统的基于网格的数据流聚类算法在同一粒度的网格上进行聚类,虽然提高了处理速度,但聚类准确性较低。针对此问题,提出一种新的基于双层网格和密度的数据流聚类算法DBG Stream。在2种粒度的网格上对数据流进行聚类,并借鉴CluStream算法的思想,将聚类过程分为2个阶段。在线过程中利用粗粒度的网格单元形成初始聚类,离线过程中在细粒度网格单元上,对位于簇边界的网格单元进行二次聚类以提高聚类精度,并实现了关键参数的自动设置,通过删格策略提高算法效率。实验结果表明,DBG Stream算法的聚类精确度较D Stream算法有较大提高,有效解决了传统基于网格聚类算法的聚类精度较低的问题。     

直流输电换流站中的电流互感器配置研究

对高压直流输电( HVDC)中的电流测量进行了研究。通过对相关的测量方法和测量装置的分析,实现了对高压直流输电换流站中的电流互感器的配置设计;并结合锦苏工程的建设,对该工程用到的测量装置进行了分析。工程建设证明了该配置设计的可行性和合理性,对今后特高压直流输电工程中电流测量设备的配置方案具有很好的理论指导意义和良好的工程使用价值。     

MMCKDE:基于数据流的m-混合聚类核概率密度估计

数据流挖掘应用对时间、空间有着较高的要求,因而传统的密度估计方法,如核密度估计法、压缩集密度估计法等并不适用于数据流密度估计.提出一种新颖的面向在线数据流的m-混合聚类核密度估计(m-mixed clustering kernel density estimation,MMCKDE)方法,该方法通过创建MMCKDE节点,用固定个数的混合聚类核获得聚类信息,以代替其他密度估计方法中的所有核.针对数据量不断增加的情况,通过计算Kullback Leibler(KL)距离进行核合并,可进一步以更紧凑的形式表示概率密度估计信息.较之于其他一些方法只能估计整段数据流的密度,MMCKDE方法最终获得的模型不仅适用于整段数据流,还适用于任意时间段上的密度估计.MMCKDE算法同SOMKE算法在不同基准数据集及真实数据集上进行密度估计精度和运行时间的比较.实验结果表明,MMCKDE算法具有更好的性能.     

基于图像空间的三维动态场景远程可视化方法

对复杂三维动态场景进行远程可视化,基于顶点运动轨迹的压缩、传输方法需要计算的顶点数量巨大,速度慢.针对这些问题,提出一种基于图像空间的三维动态场景远程可视化方法:首先在服务器端进行先空间后时间的自适应采样,获得多幅动画深度图像.通过使用动画深度图像的采样点代替原始动态场景中的顶点,极大减少需要参与计算的三维点数量;然后在每幅动画深度图像中并行压缩采样点的运动轨迹,有效减少压缩时间;最后将压缩后的动态数据传输到客户端并重构一定时间内的三维动态场景.实验结果表明,算法可以极大提高服务器端数据压缩速度,减少需要传输的数据量,有效降低网络带宽对数据传输的限制.     

不确定度模型下数据流自适应网格密度聚类算法

随着计算机技术及感知技术的发展及应用,各个领域普遍出现不确定性数据流形态的新型数据,吸引了众多研究者的关注.现有的数据流聚类技术普遍忽略不确定性特征,常导致聚类结果的不合理甚至不可用.为数不多的针对不确定性特征的聚类方法片面考察不确定性,且大多基于K-Means算法,具有先天缺陷.针对这一问题展开研究,提出了不确定度模型下数据流自适应网格密度聚类算法(adaptive density-based clustering algorithm over uncertain data stream,ADC-UStream).对于不确定性特征,该算法在存在级和属性级不确定性统一策略下,构建熵不确定度模型进行不确定性度量,综合考察不确定性.采用网格-密度的聚类算法,基于衰减窗口模型设计时态和空间的自适应密度阈值,以适应不确定性数据流的时态性和非均匀分布特征.实验结果表明,不确定模型下的数据流网格密度自适应聚类算法ADC-UStream在聚类结果质量和聚类效率方面都具有较好的性能.     

基于内存依赖关系度量的解密数据提取方法

基于数据流的程序分析算法能够有效识别程序的数据处理流程,但是对于采用数据加密技术进行通信的网络程序,数据流分析由于无法准确识别、提取解密数据而失效.针对如何提取解密数据,提出一种基于内存依赖度的算法,从解密数据内存依赖度的角度研究如何提取加密通信中的明文数据及实现该算法的原型工具EncMemCheck.通过实验对比分析该算法的优缺点,并在加密通信软件UnrealIrcd上进行实际测试,验证了算法的准确性和实用性.     

数据采集系统在中间试验工厂的开发与应用

基于中间试验工厂设备多而杂的特点,为了提升中间试验工厂的管理能力和设备利用率,对中间试验工厂的设备功能进行了研究,提出了基于Framework的分布式系统方案。在方案实施中,对与Framework系统不兼容的设备进行了改造升级,成功实现了各种不同接口设备生产数据的采集。并在此基础上开发出了专用的数据采集系统,为中间试验工厂的设备运行、科研调度提供了有力的技术支撑,同时也为其他钢厂设备的引进和数据采集系统的建立提供了可以借鉴的经验。     

图引擎底层存储的设计与实现

随着社交网络和语义Web等数据应用的兴起,催生了许多图数据处理产品,包括Neo4j,Hyper Graph DB等,然而这些产品在设计时并未充分考虑图应用对数据可用性和可扩展性的更高要求。为此,提出一种基于分布式内存云的图引擎底层建模和存储解决方案。在内存云上搭建分布式键值引擎,进而在键值存储的基础上对图的数据进行建模和读写。在大规模数据集上的实验结果表明,该方案具有较好的图随机访问性能,并能够高效地支持海量规模的图数据应用。